Kovalev sinh tại thành phố Seredina-Buda ở Ukraina, gần Sumy. Năm 1932, gia đình ông di chuyển về làng Podlipki gần Moskva. Năm 1954 ông tốt nghiệp Đại học Quốc gia Moskva. Là nhà lý sinh, Kovalev là tác giả của trên 60 xuất bản phẩm khoa học. Từ giữa thập niên 1950, ông chống đối các lý thuyết của Trofim Lysenko được Đảng Cộng sản Liên Xô ưa chuộng.

Năm 1969, Kovalev thành lập Hiệp hội nhân quyền Xô Viết đầu tiên: Initiative Group for the Defense of Human Rights in the USSR (Nhóm sáng kiến bảo vệ Nhân quyền ở Liên Xô) và sau này trở thành mối liên kết chính với phong trào bất đồng chính kiến ở Litva. Kovalev tích cực tham gia vào việc xuất bản các tạp chí định kỳ samizdat[1] như Chronicle of Current Events ở Moskva và The Chronicle of the Catholic Church ở Litva.